Regional Prompter
https://gyazo.com/519e7a6cd5e33336e7fb0766664b2632
latent couple extentionではプロンプトごとにU-Netの計算を行っていますが、このエクステンションではU-Netの内部でプロンプトごとの計算を行います。詳しくはこちらをご参照ください。 以下の機能が更新により追加されていますJaguyama.icon
インペイントによる領域指定
差分(アニメーション作成機能)作成
TDSさんの動画を見て今更になってこれの面白さに気づいたnomadoor.icon
StablediffusionのAttentionについて知りたかったので、各プロンプト(トークン)が画像生成時どこから注意を受けているか可視化してみた
注意重み(qとkの内積)をステップ毎に全層平均してます
ちゃんとパーツに分かれてて面白い
色はやっぱり他の領域に影響を与えてるのが分かる
https://gyazo.com/d0d732a3702bb7b08e27670e606a76cc
Stable DIffusionが生成する際、トークン毎にどこに注目しているかというヒートマップ
服や髪は正確にそれに関係する部分のみに注目しているが、色は全体にバラけてしまっている
故にblack skirtみたいなプロンプトが与えられたとき、スカートのみ黒くしたくても、髪や背景も黒に引っ張られてしまう
ならばスカートと指示したときのアテンションに"黒"というトークンも載せてしまえばよいだろう、ということかな?
ComfyUI版